Lời giải:
$y'=3x^2-6mx+3(m^2-1)=0$

$\Leftrightarrow x^2-2mx+m^2-1=0$

$\Leftrightarrow x=m+1$ hoặc $x=m-1$

Với $x=m+1$ thì $y=-2m-2$. Ta có điểm cực trị $(m+1, -2m-2)$

Với $x=m-1$ thì $y=2-2m$. Ta có điểm cực trị $m-1, 2-2m$

$f''(m+1)=6>0$ nên $A(m+1, -2m-2)$ là điểm cực tiểu

$f''(m-1)=-6< 0$ nên $B(m-1,2-2m)$ là điểm cực đại 

$BO=\sqrt{2}AO$

$\Leftrightarrow BO^2=2AO^2$

$\Leftrightarrow (m-1)^2+(2-2m)^2=2(m+1)^2+2(-2m-2)^2$

$\Leftrightarrow m=-3\pm 2\sqrt{2}$

\(y'=4x^3+12mx^2+6\left(m+1\right)x=2x\left[2x^2+6mx+3\left(m+1\right)\right]\)

Hàm có cực tiểu mà ko có cực đại khi và chỉ khi \(y'=0\) có đúng 1 nghiệm đơn

TH1: \(2x^2+6mx+3\left(m+1\right)=0\) có nghiệm \(x=0\)

\(\Leftrightarrow m=-1\)

TH2: \(2x^2+6mx+3\left(m+1\right)=0\) có ít hơn 2 nghiệm

\(\Leftrightarrow\Delta'=9m^2-6\left(m+1\right)\le0\)

\(\Leftrightarrow\dfrac{1-\sqrt{7}}{3}\le m\le\dfrac{1+\sqrt{7}}{3}\)

Hàm số có cực đại, cực tiểu khi m<2. Tọa độ các điểm cực trị là :

\(A\left(0;m^2-5m+5\right);B\left(\sqrt{2-m};1-m\right);C\left(-\sqrt{2-m};1-m\right)\)

Ta có : \(y'=3x^2-6mx+3\left(m^2-1\right)\)

Để hàm số có cực trị thì phương trình \(y'=0\) có 2 nghiệm phân biệt

                                                             \(\Leftrightarrow x^2-2mx+m^2-1=0\) có 2 nghiệm phân biệt

                                                             \(\Leftrightarrow\Delta=1>0\) với mọi m

Cực đại của đồ thị hàm số là A(m-1;2-2m) và cực tiểu của đồ thị hàm số là B (m+1; -2-2m)

Theo giả thiết ta có :

                         \(OA=\sqrt{2}OB\Leftrightarrow m^2+6m+1\Leftrightarrow\begin{cases}m=-3+2\sqrt{2}\\m=-3-2\sqrt{2}\end{cases}\)

Vậy có 2 giá trị m là \(\begin{cases}m=-3+2\sqrt{2}\\m=-3-2\sqrt{2}\end{cases}\)

Hàm số đã cho có 3 điểm cực trị \(\Leftrightarrow y'=0\) có 3 nghiệm phân biệt

\(\Leftrightarrow x^3-2\left(3m+1\right)x=0\) có 3 nghiệm phân biệt \(\Leftrightarrow m>-\frac{1}{3}\) (1)

Khi đó 3 điểm cực trị của đồ thị  là \(A\left(0;2m+2\right);B\left(-\sqrt{6m+2};-9m^2-4m+1\right);C\left(\sqrt{6m+2};-9m^2-4m+1\right)\)

Rõ ràng tam giác ABC cân tại A và trung tuyến kẻ từ A thuộc Oy. Do đó O là trọng tâm của tam giác ABC \(\Leftrightarrow y_A+2y_B=0\)

Hay \(2m+2+2\left(-9m^2-4m+1\right)=0\Leftrightarrow9m^2+3m-2=0\)

Suy ra \(m=-\frac{2}{3}\) hoặc \(m=\frac{1}{3}\)

Kết hợp với (1) suy ra giá trị của m là \(m=\frac{1}{3}\)